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Hi-go 032567us 
Autokalibrierunq von Multiprojektorsystemen 
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This application claims priority from German patent application no. 102 51 
217.5 filed October 31, 2002 and European Patent Application no. 03 005 
195.7 filed March 8, 2003, the entire contents of which are incorporated herein 
10 by reference. 

Einleitung 

Die Erfindung betrifft ein Verfahren zur automatischen Kalibrierung eines 
15 Multiprojektorsystems, das erlaubt, eine beliebige Anzahl von Bildern, die von 
verschiedenen Projektoren erzeugt werden, pixelgenau ubereinander zu legen, 
urn die Gesamtleuchtstarke zu erhohen bzw. eine Stereodarstellung zu ermog- 
lichen, oder aber ein Bild aus mehreren sich pixelgenau uberlappenden Projek- 
tionsbildern auf einer (GroB-)Leinwand darzustellen. 

20 

Problembeschreibung 

Um die Gesamthelligkeit eines Bildes zu erhohen bzw. um ein Passiv-Stereo- 
Bild zu erzeugen, ist es notwendig, dass mehrere Projektoren denselben Be- 
25 reich der Projektionsflache beleuchten. Bei dieser Bilddarstellung besteht das 
Problem darin, dass die Einzelbilder der Projektionseinheiten in der Regel nicht 
ubereinander liegen. Diese Kalibrierung wird momentan manuell getatigt und 
ist mit hohem Aufwand verbunden und zu ungenau. 

30 Daruber hinaus besteht schon seit langem der Wunsch, neben der Geometrie- 
entzerrung und Erhohung der Leuchtstarke eine Moglichkeit zu schaffen, die 
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Pixelauflosung einer Projektion zu erhohen. Da Projektoren mit hohen Auflo- 
sungen (> 1024 x 768) sehr teuer sind, war die nahe liegende Losung, diese 
Erhohung uber mehrere Projektoren zu erreichen. Problem dabei war, dass die 
Projektoren in der Regel nicht nahtlos aneinander positioniert werden konnen. 
5 Die Projektoren sind zumeist schief zueinander ausgerichtet und haben einen 
helleren Uberblendbereich. 

Diese Effekte mussen mittels einer Systemkalibrierung ausgeglichen werden. 
Der aktuelle Stand der Technik wird von unflexibler, teurer manueller Kalib- 
rierung dominiert. Es gibt aber bereits erste Ansatze fur eine automatische 
10 Kalibrierung, die aber wenig robust sind. 

Ziel ist es, eine pixelgenaue Auto-Kalibrierung zu implementieren, die die um- 
standliche manuelle Feinjustage uberflussig macht. Durch diese Kalibrierung 
werden sowohl die Projektionsflachen zueinander ausgerichtet, Verzerrungen 
15 durch die Geometrie der Projektionsflache kompensiert und die einzelnen Pro- 
jektoren derartig ineinander geblendet, dass der Uberblendbereich nicht mehr 
wahrnehmbar ist und eine Projektion bestehend aus n x m Projektoren fur den 
Benutzer als ein Ein-Projektor-Display erscheint. 

2 0 US-B-6,222,593 beschreibt ein Multiprojektor-System, bei dem das Projek- 
tionsbild aus mehreren einander uberlappenden Teilbildern besteht, von denen 
jedes von einem anderen Projektor projiziert wird, wobei das Gesamtprojek- 
tionsbild von einer Kamera erfasst wird. Die Ansteuerung der Projektoren 
erfolgt in Abhangigkeit von dem jeweiligen Abstand und der jeweiligen Aus- 

25 richtung (Drehung urn drei Winkel im Raum) der Projektoren relativ zur Pro- 
jektionsflache. Aufgrund dieser lediglich globalen Bildtransformation kann das 
bekannte System nicht bei beliebig geformten Projektionsflachen eingesetzt 
werden. 
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Weitere Multiprojektionssysteme sind z. B. auch in WO-A-00/18139 und 
WO-A-00/07376 beschrieben. Auch hier erfolgt eine Kalibrierung des Systems, 
wobei jedoch stets davon ausgegangen wird, dass die Projektionsbilder ver- 
zerrungsfrei, d. h. die Projektionsflache eben und insbesondere senkrecht zu 
5 den optischen Achsen der Projektoren und einer Kamera sind. 

Aufgabe der Erfindung ist es, eine pixelgenaue Auto-Kalibrierung zu imple- 
mentieren, die die umstandliche manuelle Feinjustage uberflussig macht. Diese 
Kalibrierung kompensiert zusatzlich noch durch die Geometrie der Projektions- 
10 flache bzw. durch den Projektor (Keystone) hervorgerufene Bildverzerrungen 
(bezogen auf die Kamera). 

Zur Losung der vorstehend genannten Aufgabe wird mit der Erfindung ein 
Verfahren zur automatischen Kalibration eines Multiprojektorsystems 
15 vorgeschlagen, das versehen ist mit mindestens zwei Projektoren zur 
Projektion von Bildern auf eine Projektionsflache, einer Digital-Kamera zur 
Erfassung der Projektionsflache und einer Ansteuerungseinheit zur 
Ansteuerung der Projektoren und der Kamera. 

20 Die Autokalibrierung wird gemaB den folgenden Schritten durchgefuhrt: 

Projizieren von Einzelstreifenmustern aus sich kreuzenden gruppenweise 
parallelen Linien auf die Projektionsflache durch jeden der Projektoren, 
wobei die Lage der Linienschnittpunkte des Einzelstreifenmusters im zu 

25 projizierenden Bild bekannt ist, 

Aufnehmen der projizierten Einzelstreifenmuster mittels der Kamera, 
Filterung der aufgenommenen Einzelstreifenmuster zur Kompensation von 
Hintergrundrauschen, Umgebungslicht und/oder durch die Kamera 
hervorgerufene optische Verzerrungen der Einzelstreifenmuster und zur 

3 0 Ermittlung der Linienschnittpunkte der aufgenommenen Einzelstreifen- 
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muster, 

Ermitteln der groBtmoglichen Projektionsflache anhand der aufgenomme- 
nen Einzelstreifenmuster, 

Vergleichen der Lage der Linienschnittpunkte innerhalb der aufgenomme- 
5 nen Einzelstreifenmuster mit der bekannten Lage der Linienschnittpunkte 

der von den Projektoren zu projizierenden Einzelstreifenmuster zur Er- 
mittlung von Korrekturdaten zur Korrektur von infolge von Unebenheiten 
der Projektionsflache auftretenden Verzerrungen, 

Berechnen von Warp-Feldern und Imagewarping entsprechend der Kor- 
10 rekturdaten. 

Im Falle der Anwendung der Erfindung auf ein Projektionssystem, bei dem die 
Projektionsbilder zweier (oder mehrerer) Projektoren moglichst groBflachig 
ubereinander gelegt werden (z.B. zur Erhohung der Gesamtleuchtstarke des 

15 projizierten Bildes oder fur die Stereodarstellung) wird die groBtmogliche Pro- 
jektionsflache als groBtmogliche gemeinsame Rechteckflache innerhalb des 
Uberlappungsbereichs der Projektionsflachen samtlicher Projektoren gewahlt. 
Hierbei projizieren die Projektoren die gleiche Bildinformation auf die Projek- 
tionsflache, die die ubereinandergelagerten Projektionsbilder zeigt. Dadurch ist 

20 die Leuchtstarke auf der Projektionsflache erhoht. 

Handelt es sich dagegen um ein Projektionssystem, bei dem die einzelnen 
Bereiche eines Projektionsgesamtbildes durch Teilbilder projizierende Projek- 
toren erzeugt werden, so uberlappen sich die einzelnen Projektionsteilbilder. 
25 Die maximale Projektionsflache ist in diesem Fall diejenige Rechteckflache, die 
samtliche Teilprojektionsflachen umfasst. 

Bei der Erfindung wird Standard-PC-Technologie, d.h. keine teuere Spezial- 
hardware benotigt. Die verwendeten Projektoren (auch als Beamer bezeichnet) 
30 sind computergesteuert und im Handel erhaltlich. 
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Die Filterung der von der Kamera bzw. allgemeinen optischen Aufnahmevor- 
richtung aufgenommener Streifenmuster dient der Bildbearbeitung und kom- 
pensiert Verzerrungen oder andere optische Fehler/Unzulanglichkeiten der 
5 optischen Aufnahmevorrichtung. Wenn die Linien der Streifenmuster bei 
Projektion z. B. ein Pixel breit sind, so ist leider nicht gesagt, dass auch die von 
der Aufnahmevorrichtung erfassten Linien lediglich ein Pixel breit sind; 
vielmehr sind diese Linien mehrere Pixel breit. Um jedoch die Lage der 
Schnittpunkte der projizierten Linien mit denen der Schnittpunkte der aufge- 

10 nommenen projizierten Linien vergleichen zu konnen, mussen aus den 
"Schnittfeldern" die Schnittpunkte (x-/y-Koordinate eines Pixels) durch Mittei- 
lung ermittelt werden. Daneben ist auch noch zu berucksichtigen, dass die 
Rander der Linien in der Aufnahme gezackt sind, wenn die projizierten Linien, 
was der Normalfall sein wird, nicht exakt mit der Zeilen- und Spaltenausrich- 

15 tung der Pixel der Kamera ubereinstimmen. 

Im folgenden sollen die Teilschritte der Autokalibrierung anhand der Abbildun- 
gen erlautert werden. 

20 Im einzelnen zeigen: 

Abb. 1 Versuchsaufbau mit zwei Projektoren gemaS einem ersten Ausfuh- 
rungsbeispiel der Erfindung, 

25 Abb. 2 Hintergrundbild (Projektion zweier schwarzer Flachen), 

Abb. 3 horizontale Streifenprojektion des linken Projektors von Abb. 1, 



Abb. 4 horizontale Streifenprojektion des rechten Projektors von Abb. 1, 

30 



Abb. 5 vertikale Streifenprojektion des linken Projektors von Abb. 1, 

Abb. 6 vertikale Streifenprojektion des rechten Projektors von Abb. 1, 

5 Abb. 7 erkanntes Gitternetz und groBte, gemeinsame Projektionsflache des 
Versuchsaufbaus gemaB Abb. 1, 

Abb. 8 gewarptes Bild des linken Projektors von Abb. 1, 

10 Abb. 9 gewarptes Bild des rechten Projektors von Abb. 2, 

Abb. 10 entzerrtes Bild des linken Projektors (rechter Projektor ist abge- 
deckt) von Abb. 1, 

15 Abb. 11 entzerrtes Bild beider Projektoren des Versuchsaufbaus von Abb. 1 
ubereinander, 

Abb. 12 Vergleich der Einzelleuchtstarke der beiden Projektionsbilder des 
Versuchsaufbaus gemaB Abb. 1, 

20 

Abb. 13 ein verzerrtes Bild eines 2x2 Projektor-Cluster gemaB einem zwei- 
ten Ausfuhrungsbeispiel der Erfindung, 

Abb. 14 die groBte Projektionsflache im 2 x 2 Projektor-Cluster gemaB Abb. 
25 13, 

Abb. 15 das entzerrte Gesamtbild (ohne Blending) des 2x2 Projektor- 
Cluster gemaB Abb. 13, 
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Abb. 16 das entzerrte Gesamtbild (mit Blending) des 2x2 Projektor-Cluster 
gemaB Abb. 13 und 

Abb. 17 Teilergebnisse des Algorithmus exemplarisch fur eine Teilprojektion 
5 aufgezeigt. 

Ausfuhrungsbeispiel 1 

Anhand der Abb. 1 bis 12 wird nachfolgend ein erstes Ausfuhrungsbeispiel der 
10 Erfindung erlautert, bei dem die Projektionsbilder zweier Projektoren zur 
Erzeugung von Stereobildern oder von Projektionsbildern erhohter Gesamt- 
leuchtstarke nahezu vollstandig ubereinandergelegt werden. 

Erzeugung, Aufnahme und Bildfilterung der Streifenmuster 

15 

Urn eine erfolgreiche Geometrieentzerrung mittels Imagewarping durchfuhren 
zu konnen, muss zuerst die zu Grunde liegende Geometrie der Projektionsfla- 
che erfasst werden. Dies geschieht durch die Aufnahme von projizierten verti- 
kalen und horizontalen Streifenmustern. Diese Streifen haben einen konstan- 

20 ten Abstand, der je nach Komplexitat der zu entzerrenden Geometrie zu 
wahlen ist. Bei dem hier beschriebenen Ausfuhrungsbeispiel wurde ein Strei- 
fenabstand von zwanzig Pixeln gewahlt, da die Wand viele UnregelmaBigkeiten 
aufwies. Andere Streifenabstande und Anordnungen sind moglich. Anhand der 
Linienzuge (gekrummt, gerade, schrag) und der Linienabstande kanri auf die 

25 Geometrie der Projektionsflache geschlossen werden. Die projizierten Streifen 
werden fur alle Projektoren mit einer Digitalkamera aufgenommen (in unserem 
Fall zwei Projektoren => zwei vertikale und zwei horizontale Streifenbilder). 
Zusatzlich wird noch ein Bild aufgenommen, bei dem beide Projektoren auf 
Schwarz geschaltet sind, urn den teilweise storenden Hintergrund bzw. niedri- 

30 ges Rauschen aus dem Kamerabild entfernen zu konnen. Dieses Hintergrund- 
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bild wird vor der weiteren Bildfilterung von alien aufgenommen Bildern subtra- 
hiert. Die aufgenommen Bilder sind in den Abb. 2 bis 6 zu sehen. 

Auf Grund der Verwendung einer Linsenkamera zeigen die aufgenommenen 
5 Bilder typische radiale Verzerrungen auf, die vor der Weiterverarbeitung ent- 
fernt werden mussen. Bei verzerrungsfreier Aufnahme kann dieser Schritt 
entfallen. 

Die eigentliche Filterung wurde mit Standardbildverarbeitungsfilteroperationen 
10 durchgefuhrt. Nach der Bildsubtraktion von zu filterndem Bild und Hinter- 
grundbild wird das Ergebnisbild in Graustufen umgewandelt, so dass jeder der 
drei Farbkanale denselben Farbwert hat. AnschlieBend wird dieses Bild in 
Abhangigkeit eines Schwellwertes in ein Schwarz/WeiB-Bild umgewandelt, 
wobei die Streifen WeiB sind und der Hintergrund Schwarz. Um Locher in den 
15 Streifen zu entfernen wird eine Dilation und Erosion durchgefuhrt. Anschlie- 
Bend mussen die Linien noch derart gefiltert werden, dass sie nur noch einen 
Pixel breit sind. Dies geschieht mit Hilfe eines vertikalen bzw. horizontalen 
Versatzfi Iters. Dieser Versatzfilter wird in zwei Richtungen ausgefuhrt (links 
und rechts bzw. oben und unten). Der Mittelwert der Ergebnisse dieser beiden 
20 Filteroperationen liefert den Mittelpunkt des Streifens. Die gefilterten Streifen 
werden nun durch ihre Mittelpunkte reprasentiert. 

Samtliche Filteroperationen wurden mittels an sich bekannter Pixelshader 
hardwareunterstutzt umgesetzt. 

25 

Berechnung der groBtmoglichen Projektionsflache 

Um eine deckungsgleiche Wahrnehmung zu gewahrleisten, muss die groBte 
gemeinsame Projektionsflache aller Projektoren im Originalbildverhaltnis (in 
30 diesem Ausfuhrungsbeispiel 4:3) bestimmt werden. Dazu wird zuerst aus den 
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gefilterten Streifenmustern ein Gitternetz erzeugt. Mit Hilfe eines Optimie- 
rungsalgorithmus wird innerhalb dieses Netzes, welches in unserem Fall aus 
zwei Teilgitternetzen besteht, die groBte gemeinsame Projektionsflache 
"gesucht". Das Gitter des linken und rechten Projektors sowie die Zielprojekti- 
5 onsflache sind in Abb. 7 dargestellt. Aus diesen Daten konnen im Anschluss die 
Parameter fur das Warping bestimmt werden. 

Berechnung der Warp-Felder und Imagewarping 

10 Mithilfe des zuvor berechneten Gitters kann das Bild in Warpingpatches zerlegt 
werden. Diese Patches bestehen aus einem Dest-Patch (der Bildbereich, in den 
ein Bildteil gewarpt werden soil) und einem Src-Patch (der Bildbereich, der in 
den Dest-Patch gewarpt wird). 

15 Die Eckpunkt-Berechnung der Dest-Patches ist trivial. Aufgrund des vorgege- 
benen Abstands der horizontalen und vertikalen Linien ist somit auch die Posi- 
tion samtlicher Gitterpunkte im Ziel bekannt. 

Die Src-Patches werden in Abhangigkeit des Projektionsrechteckes (im Foto) 
2 0 und der Position der Dest-Patches (im Foto) linear berechnet. Es wird die Be- 
rechnung fur die linke untere Ecke eines Src-Patches in Abhangigkeit der linken 
unteren Ecke eines Dest-Patches aufgezeigt: 

patch. xl = (pLB.X - projectionRect. left) / (projectionRect. right 
2 5 projectionRect. left); 

patch, yl = (pLB.Y - projectionRect.bottom) / (projectionRect.top - 
projectionRect bottom). 



30 
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Das Src-Patch wird mittels eines Warping-Verfahrens inklusive integrierter per- 
spektivischer Korrektur in das Dest-Patch transformiert. 

Wird der Abstand der horizontalen und vertikalen Linien relativ klein gewahlt, 
5 ist auch der Ausgleich von Krummungen realisierbar. Mit den bei den Versu- 
chen gewahlten Linienabstanden von zwanzig Pixeln war es bereits moglich, 
Krummungen der Wand auszugleichen, so dass sich das projizierte Bild auf der 
gekrummten Projektionsflache fur den Betrachter (von der Kamera aus) wie 
auf eine ebene Flache projiziert darstellt. 

10 

Bei einer Zweiprojektorkalibrierung mussen zwei Warp-Arrays berechnet wer- 
den, bei mehr als zwei Projektoren entsprechend mehr. Die Warp-Arrays wer- 
den immer in Abhangigkeit der korrespondierenden Gitterpunkte mit der 
Beschrankung durch die gemeinsame groBte Projektionsflache bestimmt. Die 
15 fur eine Zweikanalprojektion berechneten gewarpten Bilder sind in Abb. 8 und 
9 zu sehen. Das Ergebnis an der Projektionsflache ist fur einen Projektor in 
Abb. 10 und fur zwei Projektoren in Abb. 11 zu sehen. Der Vergleich der 
Leuchtstarke ist in Abb. 12 dargestellt. 

20 Um eine effektive Verarbeitung zu gewahrleisten, wird die Autokalibrierung nur 
einmal (pro Sitzung) durchgefuhrt. Aus diesem Grund werden die fur die Geo- 
metrieentzerrung und Multiprojektorkalibrierung berechneten Daten in Warp- 
Feldern gespeichert, welche z.B. vom X-Rooms™-System (K. Isakovic, T. Dud- 
ziak, K. Kochy. X-Rooms. A PC-based immersive visualization environment, 

25 Web 3D Conference, Tempe, Arizona, 2002) verwendet werden konnen. Die 
Entzerrung mittels der Warp-Felder wurde wiederum hardwareunterstutzt um- 
gesetzt, so dass eine Entzerrung in Echtzeit moglich ist. 



30 
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Anwendungsgebiete 

Fur eine Multiprojektorkalibrierung gibt es viele Anwendungsgebiete. Sie kann 
beispielsweise zur kostengunstigen Leuchtstarkeerhohung bzw. zur Stereoka- 
5 librierung verwendet werden. Des weiteren kann ohne groBen Aufwand eine 
Geometrie- und Projektorbedingte Entzerrung durchgefuhrt werden. Praktische 
Versuche haben gezeigt, dass die Autokalibrierung eines Zweiprojektorsystems 
mittels des erfindungsgemaBen Verfahrens lediglich etwa 35 Sekunden inklu- 
sive der Bildaufnahme (ca. 20 Sekunden) dauert. Damit stellt die Erfindung 
10 eine signifikante Steigerung gegenuber der manuellen Kalibrierung dar. 

Ausfuhrungsbeispiel 2 

Im folgenden Text wird anhand er Abb. 13 bis 17 eine Erweiterung des zuvor 
15 beschriebenen Verfahrens zur Autokalibrierung von Multiprojektorsystemen 
vorgestellt. Wahrend zuvor auf die Moglichkeit eine beliebige Anzahl von Bil- 
dern zur Leuchtstarkeerhohung pixelgenau ubereinander zu legen eingegangen 
wurde, wird in dem hiermit vorliegenden Text die Fahigkeit des Systems zur 
automatischen Kalibrierung von Projektor-Clustern, die als n x m Projektor- 
2 0 Matrix vorliegen, beschrieben. 

Schon seit langem besteht der Wunsch neben der Geometrieentzerrung und 
Erhohung der Leuchtstarke eine Moglichkeit zu schaffen, die Pixelauflosung 
einer Projektion zu erhohen. Da Projektoren mit hohen Auflosungen (> 1024 x 
25 768) sehr teuer sind, war die nahe liegende Losung, diese Erhohung uber 
mehrere Projektoren zu erreichen. Problem dabei war, dass die Projektoren in 
der Regel nicht nahtlos aneinander positioniert werden konnen. Die Projektoren 
sind zumeist schief zueinander ausgerichtet und haben einen helleren 
Uberblendbereich (siehe Abb. 13). 

30 
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Diese Effekte mussen mittels einer Systemkalibrierung ausgeglichen werden. 
Der aktuelle Stand der Technik wird von unflexibler, teurer manueller Kalib- 
rierung dominiert. Es gibt aber bereits erste Ansatze fur eine automatische 
Kalibrierung, die aber wenig robust sind. 

5 

Ziel ist es, eine pixelgenaue Auto-Kalibrierung zu implementieren, die die um- 
standliche manuelle Feinjustage uberflussig macht. Durch diese Kalibrierung 
werden sowohl die Projektionsflachen zueinander ausgerichtet, Verzerrungen 
durch die Geometrie der Projektionsflache kompensiert und die einzelnen Pro- 
10 jektoren derartig ineinander geblendet, dass der Uberblendbereich nicht mehr 
wahrnehmbar ist und eine Projektion bestehend aus n x m Projektoren fur den 
Benutzer als ein Ein-Projektor-Display erscheint. 

Erzeugung, Aufnahme und Bildfilterung der Streifenmuster 

15 

Dieser Teil des Verfahrens ist bereits oben beschrieben. Deshalb soil hier nicht 
weiter darauf eingegangen werden. 

Berechnung der groBtmoglichen Projektionsflache 

20 

Urn eine deckungsgleiche Wahrnehmung zu gewahrleisten, muss die groBte 
gemeinsame Projektionsflache aller Projektoren im Originalbildverhaltnis 
bestimmt werden. Dieses Bildverhaltnis wird aus der Anzahl der Projektoren 
und deren Anordnung bestimmt. Ein Cluster mit 3 Projektoren in horizontaler 
25 Richtung hat beispielsweise ein Bildverhaltnis von 12:3, das hier naher vorge- 
stellte 2x2 System ein Verhaltnis von 4:3. 

Aus den zuvor gefilterten Streifenmustern wird wiederum ein Gitternetz er- 
zeugt. Die automatisch per Optimierungsalgorithmus gefundene groBte, uber- 
3 0 lappende Projektionsflache sowie das zugrunde liegende Gitternetz werden in 
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Abb. 14 dargestellt. 

Berechnung der Warp-Felder und Imagewarping 

5 Die fur das Warping der Teilbilder benotigten Matrizen werden wiederum nach 
dem oben beschriebenen Verfahren berechnet. Das entzerrte Gesamtbild (noch 
ohne Blending der uberlappenden Bereiche) ist in Abb. 15 zu sehen. 

Blending der uberlappenden Projektoren 

10 

Das durch das Imagewarping erzeugte Gesamtbild erscheint schon geomet- 
risch homogen, weist aber an den Uberlappungsbereichen eine groBere Hellig- 
keit auf. Dadurch ist es noch sehr leicht als zusammengesetztes Bild zu identi- 
fizieren. Ziel des Blendings ist es, diesen Uberlappungsbereich so zu veran- 
15 dern, dass das Bild auch farblich homogen erscheint. 

Wahrend der Vorverarbeitung wird fur jeden Projektor ein Blendbild in der 
Farbe WeiB erzeugt. Dieses Bild besitzt die Gesamtauflosung (bei 2x2 
Projektoren also 2048 x 1536 Pixel) und wird nach der Berechnung der Blend- 
20 werte in ein Bild mit Projektorauflosung (1024 x 768) gewarpt und anschlie- 
Bend als Maskierungstextur verwendet (Multiplikation des bereits gewarpten 
Bildes in aktueller Grafikhardware per Multi-Texturing). 

Im ersten Schritt zur Berechnung der Blendwerte werden die Gitterdaten der 
25 einzelnen Projektoren nach Position sortiert in einer n x m Matrix angeordnet. 
Im nachsten Schritt werden n Projektoren (in unserem Fall 2) horizontal mit- 
einander geblendet. Dazu wird uber das Projektionsrechteck sowie samtliche 
Projektor-Gitterdaten (pro horizontalem Streifen) eine untere und obere 
Grenze bestimmt. Diese Grenzen liegen innerhalb der Projektionsflache und 
3 0 innerhalb der n zu blendenden Projektionsflachen und sind des weiteren 
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parallel zur Projektionsflache. Diese Grenze vereinfacht das Blending zu einem 
einfachem Scanline-Verfahren. 

Das horizontale Scanline-Blending erfolgt immer zwischen 2 uberlappenden 
5 Bildern. Der rechte Rand wird durch den rechten Rand des linken Teilbildes 
reprasentiert, der linke Rand durch den linken Rand des rechten Teilbildes. Pro 
Zeile wird ein linearer Farbwertabfall von Start- zum Endpunkt durchgefuhrt. 
Als Grundlage fur diesen Farbwertabfall dienen die bereits im Blendbild ste- 
henden Farbwerte - so dass auch ein Mehrfachblending moglich ist - und ein 

10 pro Pixel der Scanline bestimmter Multiplikationsfaktor (uber die gesamte 
Scanline von 1.0 -> 0.0). Die somit bestimmten linearen Blendwerte werden 
anschlieBend noch mit einer Gammakorrektur versehen (linBlend 10/gamma ). Die- 
ser Gammawert ist Projektorabhangig und kann pro Farbkanal (RGB) angeben 
werden. Der endgultig berechnete Blendwert wird sowohl im linken als auch im 

15 rechten Blendbild - abhangig vom Start- und Endpunkt der Scanline - gespei- 
chert. Aufgrund der verschiedenen Start- und Endwerte (der Startpunkt im 
linken Teilbild entspricht dem Endwert im rechten Teilbild) entsteht ein so 
genannter Crossfade mit integrierter Gammakorrektur. 

20 AnschlieBend werden alle Werte des Blendbildes unterhalb der unteren bzw. 
oberhalb der oberen Grenze geschwarzt. 

Nach dem horizontalen Blending aller Streifen (in unserem Fall 2) muss noch 
ein vertikales Blending ausgefuhrt werden. Dieses erfolgt auch per Scanline- 
25 Verfahren, Startwert und Endwert pro vertikaler Scanline sind hier aber durch 
die obere Grenze eines bereits horizontal; geblendeten Streifens und der 
unteren Grenze des daruber liegenden bereits horizontal geblendeten Strei- 
fens. 
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Die nun vorliegenden Blendbilder in GesamtprojektionsgroBe werden mittels 
Imagewarping und den bereits vorliegenden Warp-Arrays in n x m Blendbilder 
in Projektorauflosung transformiert. Diese Blendbilder konnen nun in Echtzeit 
mittels Multi-Texturing zum Blending von Multiprojektorsystemen genutzt wer- 
den. 

Das Ergebnis des Blendings eines 2x2 Projektor-Clusters ist in Abb. 16 zu 
sehen. In Abb. 17 wird eine Ubersicht aller Arbeitsschritte exemplarisch an 
einem Teilbild aufgezeigt: 

verzerrtes Teilbild auf der Projektionsflache (obere Zeile, linkes Bild), 
vorgewarptes Teilbild (mittlere Zeile, linkes Bild), 
dazugehoriges Blendbild (obere Zeile, rechtes Bild), 

vorgewarptes Teilbild mit dem Blendbild multipliziert (mittlere Zeile, 
linkes Bild), 

gewarptes, ungeblendetes Teilbild auf der Projektionsflache (untere Zeile, 
linkes Bild), 

gewarptes, geblendetes Teilbild auf der Projektionsflache (untere Zeile, 
rechtes Bild). 

Anwendungsgebiete 

Die hier vorgestellte automatische Multiprojektorkalibrierung kann uberall dort 
angewendet werden, wo kostengunstig und ohne groBen Zeitaufwarid groB- 
formatige Projektionen hoher Qualitat erzeugt werden sollen (Messen, Show- 
rooms, HD- TV, Digital Cinema). Mit der hier vorgestellten Kalibrierung wird 
sowohl Geometrieentzerrung als auch Bild-Stitching und Bild-Blending vorge- 
nommen. Die Autokalibrierung eines 2x2 Projektor-Clusters dauert mit dem 
hier vorgestellten Verfahren auf Standard-PC-Komponenten ca. 1 Minute inklu- 
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sive der Bildaufnahme (ca. 30 Sekunden). Sie stellt somit eine signifikante 
Steigerung gegenuber der manuellen Kalibrierung dar. 
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ANSPRUCHE 

1. Verfahren zur automatischen Kalibrierung eines Multiprojektorsystems mit 
mindestens zwei Projektoren zur Projektion von Bildern auf eine Pro- 
jektionsflache, einer Digital-Kamera zur Erfassung der Projektionsflache 
und einer Ansteuerungseinheit zur Ansteuerung der Projektoren und der 
Kamera, wobei eine Autokalibrierung gemaB folgender Schritte durchge- 
fuhrt wird: 

Projizieren von Einzelstreifenmustern aus sich kreuzenden gruppen- 
weise parallelen Linien auf die Projektionsflache durch jeden der Pro- 
jektoren, wobei die Lage der Linienschnittpunkte des Einzelstreifen- 
musters im zu projizierenden Bild bekannt ist, 

Aufnehmen der projizierten Einzelstreifenmuster mittels der Kamera, 
Filterung der aufgenommenen Einzelstreifenmuster zur Kompensation 
von Hintergrundrauschen, Umgebungslicht und/oder durch die 
Kamera hervorgerufene optische Verzerrungen der Einzelstreifen- 
muster und zur Ermittlung der Linienschnittpunkte der aufgenomme- 
nen Einzelstreifenmuster, 

Ermitteln der groBtmoglichen Projektionsflache anhand der aufge- 
nommenen Einzelstreifenmuster, 

Vergleichen der Lage der Linienschnittpunkte innerhalb der aufge- 
nommenen Einzelstreifenmuster mit der bekannten Lage der Linien- 
schnittpunkte der von den Projektoren zu projizierenden Einzelstrei- 
fenmuster zur Ermittlung von Korrekturdaten zur Korrektur von 
infolge von Unebenheiten der Projektionsflache auftretenden Verzer- 
rungen, 

Berechnen von Warp-Feldern und Imagewarping entsprechend der 
Korrekturdaten. 
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2. Verfahren zur automatischen Kalibrierung eines Multiprojektorsystems 
nach Anspruch 1, dadurch gekennzeichnet, dass sich zwecks Erhohung 
der Gesamtleuchtstarke der Projektion die von den einzelnen Projektoren 
erzeugten Projektionsflachen moglichst vollstandig uberlappen, wobei die 
groBtmogliche gemeinsame Projektionsflache innerhalb des Uberlap- 
pungsbereichs der Projektionsflache samtlicher Projektoren als insbeson- 
dere Rechteckflache ermittelt wird. 

3. Verfahren zur automatischen Kalibrierung eines Multiprojektorsystems 
nach Anspruch 1, dadurch gekennzeichnet, dass sich die von den einzel- 
nen Projektoren erzeugten Projektionsflachen teilweise uberlappen, wobei 
die groBtmogliche Projektionsflache innerhalb der von den einzelnen 
Projektionsflachen samtlicher Projektoren angeordnet ist und diese sowie 
den Uberlappungsbereich umfasst und insbesondere als Rechteckflache 
ermittelt wird. 

4. System zur automatischen Kalibrierung eines Multiprojektorsystems nach 
Anspruch 3, dadurch gekennzeichnet, dass die Lichtstarke der Projektoren 
innerhalb ihrer Uberlappungsbereiche reduziert wird und somit an die 
Lichtstarke der Projektoren innerhalb der diesen jeweils zugeordneten 
nicht uberlappenden Projektionsflachenbereichen angepasst wird. 
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ZUSAMMENFASSUNG 

Autokalibrierunq von Multiprojektorsystemen 

Das Verfahren zur automatischen Kalibrierung eines Multiprojektorsystems mit 
mindestens zwei Projektoren, einer Digital-Kamera und einer Ansteuerungs- 
einheit zur Ansteuerung der Projektoren und der Kamera wird gemaB folgender 
Schritte durchgefuhrt: 

Erzeugung, Aufnahme und Bildfilterung von Streifenmustern, 

Finden der groBtmoglichen Projektionsflache und 

Berechnung von Warp-Feldern und Imagewarping. 



(Abb. 7) 



